Sau đó, không rõ về hoạt động mở rộng lãnh thổ của Lâm Sĩ Hoằng, trong khi việc để mất lãnh thổ thì được ghi lại. Giả dụ, vào khoảng tết năm 618, một thủ lĩnh nổi dậy là Trương Thiện An (張善安) đã từ Phương Dự (方與, nay thuộc Từ Châu, Giang Tô) băng qua Trường Giang về phía nam để hàng phục Lâm Sĩ Hoằng. Tuy nhiên, Lâm Sĩ Hoằng lại không tin tưởng vào mục đích của Trương Thiện An nên cho người này an định ở bên ngoài thủ đô Dự Chương (豫章, nay thuộc Nam Xương, Giang Tây). Trương Thiện An trở nên bực tức và tiến hành tập kích Dự Chương, đánh bại quân của Lâm Sĩ Hoằng và phóng hỏa đốt tường thành Dự Chương, khiến Lâm Sĩ Hoằng phải rời đô đến Nam Khang (南康, nay thuộc Cám Châu, Giang Tây). Sau đó, một thủ lĩnh nổi dậy khác là Tiêu Tiển đã phái bộ tướng Tô Hồ Nhi (蘇胡兒) đi công chiếm Nam Khang, Lâm Sĩ Hoằng để mất thành và buộc phải rút về Dư Can (餘干, nay thuộc Thượng Nhiêu).

Gia tộc của Phùng Áng (馮盎) vốn đã kiểm soát các quận thuộc Quảng Đông và Hải Nam ngày nay trong vài thế hệ, đến năm 618 thì Phùng Áng đã quy phục Lâm Sĩ Hoằng. Tuy nhiên, khi Lâm Sĩ Hoằng cố gắng thuyết phục Giao Chỉ quận thái thú Khâu Hòa (丘和)- cai quản miền Bắc Việt Nam ngày nay- quy phục, Khâu Hòa đã từ chối và sau này đã quy phục Tiêu Tiển khi biết tin Tùy Dạng Đế bị giết ở Giang Đô. Cuối năm 620, có vẻ như Phùng Áng không còn quy phục Lâm Sĩ Hoằng nữa vì người này đã tấn công Cao Pháp Trừng (高法澄) và Thẩm Bảo Triệt (沈寶徹), những người cai quản Quảng châu (廣州, nay gần tương ứng với Quảng Châu) và Tân châu (新州, nay gần tương ứng với Vân Phù, Quảng Đông) trong khi họ đã quy phục Lâm Sĩ Hoằng.